แรม วรธรรม เกิดเมื่อวันที่ 16 พฤศจิกายน พ.ศ. 2476 เป็นบุตรชายของ สุทิน วรธรรม และ ดอกเอื้อง (ดิบบ์) วรธรรม ซึ่งเป็นบุตรสาวของ ร้อยเอก วิลเลียม เรจินัลด์ ดิบบ์ อดีตทหารในกองทัพอังกฤษและนายห้างป่าไม้

ด้านชีวิตครอบครัวสมรสกับ อรพิน วรธรรม หรือ ปุ๊ (ราชสกุลเดิม กุญชร ณ อยุธยา) บุตรสาวของ ร้อยโท หม่อมหลวงพร้อม กุญชร บุตรชายของ เจ้าพระยาเทเวศร์วงศ์วิวัฒน์ (หม่อมราชวงศ์หลาน กุญชร) และเป็นพี่ชายของ พลโท หม่อมหลวงขาบ กุญชร มีบุตรธิดาทั้งสิ้น 4 คนหนึ่งในนั้นคือ โอ วรุฒ วรธรรม อดีตพระเอกชื่อดังผู้ล่วงลับ